AI资讯新闻榜单内容搜索-Attention

关键词: Transformer,AI,AI框架,模型训练,GPT

2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。

关键词: PyTorch,注意力机制,大模型,人工智能,AI,模型训练

用 FlexAttention 尝试一种新的注意力模式。

关键词: Transformer,AI框架,模型训练,人工智能

七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。

关键词: 英伟达,AI,AI芯片,H100,算力

740 TFLOPS！迄今最强 FlashAttention 来了。

关键词: AI,AI视频,大模型,PAB,Pyramid Attention Broadcast

尤洋团队新作，首个基于DiT的实时视频生成方法来了！

关键词: 扩散模型,视觉模型,vHeat,模型训练,AI学术

如何突破 Transformer 的 Attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于Attention机制的视觉模型， vHeat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。

关键词: Mamba,混合大模型,开源大模型,Transformer,token

Mamba时代来了？

关键词: Mistral AI,Mixtral 8x7B,GPT-4

前段时间，Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区，其架构与 GPT-4 非常相似，很多人将其形容为 GPT-4 的「缩小版」。